Regresión lineal y series de tiempo Gerardo 


Considere que una muestra de n parejas ordenadas (11, Y), ...., (tn, Y), 
en donde suponemos que 


Y =D FIT 


para todo 1 = 1,...,n. Además, suponemos que los e,'s son vvaa 
que forman una muestra aleatoria, con Ele) = 0, Var(e;) = o”, 


Eee; =U0. 


Ejercicio 1. Calcular las estimaciones de Py y P, por el método 
de mínimos cuadrados. 


Ejercicio 2. Enuncie algunas propiedades de dichos estimadores. 


Solución. 1. Los estimadores de 4 y P1 calculados por el método de 
mínimos cuadrados, los cuales se denotaran por by y b1, son aquellos 
que minimizan la función 


S(Bo, B1) = Y (Y, — Bo — Brxs)”. 
¡=1 
Como S es una función diferenciable en Bp9 y 61, por el Criterio de 
la Primer y Segunda Derivada en Varias Variables, bp y bi deben 
satisfacer que 


Sap (do, D1) (1) 
Sg, (do, b1) (2) 
Sg050 (do, b1)5g, 8, (do, D1) — Sg,g, (bo, d1) > 0 Y Sgpápldo, b1) > 0 
(3) 
Es decir, si (bp, b1) satisface (1) y (2), nos permite decir que es un 
punto crítico y si satisface (3) que es un mínimo local de S. 


=0 
=0 
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Resolviendo el sistema dado por las ecuaciones (1) y (2), tenemos 
que 


29 (Y, — bo — biz) =0 (4) 
¡=1 
2) (Y; — bo — b12;)x; =0 (5) 
¡=1 
Despejando by de (4), tenemos que 


Y y, — nby 0 = 0, 
i=1 i=1 


bo A Y UN EAN 
dido MA A 


Reemplazando by es (5), tenemos que 


a % n — D]Ep) Dia =. 
ran ato 
¡=1 ¡=1 ¡=1 ¡=1 


Despejando by de (6), 


b a ti Ya q 1% 
1— : 
ya 1 sd — Tn ¿2 1% 


mas ¿0 = 1% 
ia E 
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Observe que (Y, — Y JZn = O; Y, — NYp)ZT/ = 0, por lo que 


T mz A Es 
7 1 L; NL, AN NI, NL 


_ A Y — Ya) (Li — En) 
S 7, 1 — 2nT2 +n22 


Lea (Yi Ya Ea) 
DA 1 x; BA ¡ 2 + NE; 


e Za (Yi do) 


n 2 
ja 0 — 20 ti + E 


VE To)lei— 8) 
Y ii (Li — En)? 


Ahora bien, calculando las segundas derivadas parciales de S' con 
respecto a Po y 61, así como las derivadas cruzadas, tenemos que 


S805, (00, b1) = Zn, 


Spb (Do, b1) = 2 y a 


q] 


S6805, (00, 0) =2 Y Dis 


¿=1 
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Así tenemos que 
Sgosp(bo, 1) 55,5, (do, 1) —S gps, (do, 01)? =4n Y 2-4) xi)” >0, 
¡=1 ¡=1 


esto porque nd, 17 — (O ;_, 2)” > 0, ya que 


n 


Y (224)? >0 


¿=1 
n 


n 
2 a 3 
) E =ZD y ) AA, 20 
i=1 i=1 
n n 
2 E E, 
) E 2Ip ) EME, 
i=1 i=1 


Multiplicando ambos miembros de la desigualdad por n, 


n > Li > AS 2? — 7 zi) 
El 2) ¡=1 
el 1 


como, además, Sg,5, (bo, b1) > 0, tenemos que 


bo = Ya => DT ps 
hb, = e = Ya) (Li En) 
Y ji (Ts Eg)” 


son los valores que B9 y 61 que minimizan la función £. 
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2. Algunas propiedades de by y b1 son las siguientes: 


bo y b¡ son insesgados para L, y 6, respectivamente. 
Demostración. 


Primero, obsverve que 


Mia Y — Y En: — En) 


b == 
> ja (0 Dj" 


_ Midi a) 
o Da) 


De esta manera, calculamos el valor esperado de bi, 


a (a) 


_ EL E(V)(0— 20) 
Dior [Li — En)” 
Recordando que como E(e;) = 0, entonces E(Y;) = Bp + P12;, y así 
tenemos que 


_ imalo + Brx;) (2; — Tn) 
ima (Ei =0p)* 
_ A 
Y jar (Li — Tn)" 
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Puesto que 7, Bolx; — En) =0, 
ii Li — Tn)2; 


=P 
ps 
=B, jar li — Un ja Ti — NT, + NE, 
21 [Ci — Tn)" 
— 9 Lia 06 En Dias Di — En Lia Tn Y 
jar (Li — En)? 


- 9 Li Ti 1 A IORE ¡ Ei +nE, 
ES — En)? 


a DRA 
jr (Li — En)" 
= Bi. 


Ahora, calculando la esperanza de bg, 


E(bp) = E(Y;, — b12,) 
=n "Y E(Y;) — Bi%, 
1=1 


=n "N (Bo — Biz) — Bi£n 
¿=1 

== Bo — En uN Pila 

= Po. 
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¿0 y Var(b,) = a 


Xx 
O, AA — pu . 
nn» j=1(2;—Tn) Ni1(2;—En)* 


Demostración 


Var(b1) = Var (a) | 


Var(bp) = 


recordando que las Y; “s son independientes y que para cualesquiera 
variables aleatorias W, Y independientes y a y b números reales, 


Var(aW +bV) = aVar(W) + bVar(V), 
tenemos que 


re (mar) 


_ ii ( ti — En) "V ar(Y;) 
AOS 
como Var(Y;) = Var(Bo + Bix, + e) = Var(e;) = 0”, ya que para 
cualquier va X y para todo número real a, 
Var(a+X)=Var(X), 


tenemos que 


q? 


N jr (Ls E 
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Por otra parte, 
Var(bp) == Var(Y == b,7,,) 
= Var(Y,,) + 2¿Var(b,) — 24, Cov(Y, br) 


como las Y¿'s son independientes, 
0] 0] 
dl SE + 2%, Cov(Y,, b1). 
n 


Calculando Cov(Y,,, b:), 
— 1 di — De Y; 
Cov(Y,, b1) = Cov | —Y;, 2 ti 10) 
n >) (1;— Ip) 
debido a que si W, ..., W,, y Vi, ..., V;n son vvaa y a; y b¡ son números 
reales para 1 =1,...,n y 7 =1,...,m, entonces 


Cov()_aW,, Y b;V;) =>» >) ad¡Cow(W,, V;), 


tenemos que 


o =D (2, — A 


como Y; es independiente de Y;, ba. : = () cuando 14H 3, 


1 (x, — En )V ar(Y;) 
¿2 aa — In)? 


ETE 3270 En 


= 0. 
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Por tanto, 
2 


0? 
Var(b,) = — + 2% 
n 


"(0 TY? 


Bajo las condiciones dle modelo de los datos, by y bi 
son estimadores de mínima varianza entre todos los es- 
timadores lineales insesgados 


Los estimadores by y b, son consistentes con 6, y 0 
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